
import pandas as pd
import numpy as np
from scipy import stats as st
from datetime import datetime as dt, timedelta
import re
import seaborn as sns
import matplotlib.pyplot as plt
import plotly.graph_objects as go


def pre_check(df):
    display(df.head(5)) # вывод первых 5 строк
    display('Количество пустых ячеек:', df.isna().sum()) # количество пустых ячеек
    print('Количество полных дубликатов:', df.duplicated().sum()) # количество абсолютных дубликатов
    print()
    df.info() # общая информация


#список файлов:
list_name_csv =[
    'final_ab_events.csv',
    'ab_project_marketing_events.csv',
    'final_ab_new_users.csv',
    'final_ab_participants.csv'
]
#путь онлайн
pth_online = 'https://*****'

try:
    for i in range(len(list_name_csv)):
        name_p = re.match(r'^[^.]*', list_name_csv[i])[0]#берем имя до точки
        path = pth_online + list_name_csv[i]#собираем путь к файлу
        exec(f'{name_p} = pd.read_csv(path)')#создаем новую переменную с данными
    display('Загрузка онлайн')
except FileNotFoundError:
    for i in range(len(list_name_csv)):
        name_p = re.match(r'^[^.]*', list_name_csv[i])[0]#берем имя до точки
        path = list_name_csv[i]#собираем путь к файлу
        exec(f'{name_p} = pd.read_csv(path)')#создаем новую переменную с данными
    display('Загрузка локально')
except Exception:
    display('Файлы отсутствуют и онлайн и локально')

'Загрузка онлайн'


pre_check(final_ab_events)

'Количество пустых ячеек:'

user_id            0
event_dt           0
event_name         0
details       377577
dtype: int64

Количество полных дубликатов: 0

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 440317 entries, 0 to 440316
Data columns (total 4 columns):
 #   Column      Non-Null Count   Dtype  
---  ------      --------------   -----  
 0   user_id     440317 non-null  object 
 1   event_dt    440317 non-null  object 
 2   event_name  440317 non-null  object 
 3   details     62740 non-null   float64
dtypes: float64(1), object(3)
memory usage: 13.4+ MB


pre_check(ab_project_marketing_events)

'Количество пустых ячеек:'

name         0
regions      0
start_dt     0
finish_dt    0
dtype: int64

Количество полных дубликатов: 0

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 14 entries, 0 to 13
Data columns (total 4 columns):
 #   Column     Non-Null Count  Dtype 
---  ------     --------------  ----- 
 0   name       14 non-null     object
 1   regions    14 non-null     object
 2   start_dt   14 non-null     object
 3   finish_dt  14 non-null     object
dtypes: object(4)
memory usage: 576.0+ bytes


pre_check(final_ab_new_users)

'Количество пустых ячеек:'

user_id       0
first_date    0
region        0
device        0
dtype: int64

Количество полных дубликатов: 0

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 61733 entries, 0 to 61732
Data columns (total 4 columns):
 #   Column      Non-Null Count  Dtype 
---  ------      --------------  ----- 
 0   user_id     61733 non-null  object
 1   first_date  61733 non-null  object
 2   region      61733 non-null  object
 3   device      61733 non-null  object
dtypes: object(4)
memory usage: 1.9+ MB


pre_check(final_ab_participants)

'Количество пустых ячеек:'

user_id    0
group      0
ab_test    0
dtype: int64

Количество полных дубликатов: 0

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 18268 entries, 0 to 18267
Data columns (total 3 columns):
 #   Column   Non-Null Count  Dtype 
---  ------   --------------  ----- 
 0   user_id  18268 non-null  object
 1   group    18268 non-null  object
 2   ab_test  18268 non-null  object
dtypes: object(3)
memory usage: 428.3+ KB


final_ab_events[final_ab_events['details'].notna()]['event_name'].value_counts()

purchase    62740
Name: event_name, dtype: int64


final_ab_events[final_ab_events['details'].isna()]['event_name'].value_counts()

login           189552
product_page    125563
product_cart     62462
Name: event_name, dtype: int64


def data_type(df,shape,col=[]): 
    for i in col:
        df[i] = pd.to_datetime(df[i], format='%Y-%m-%dT%H:%M:%S') #.map(lambda x: dt.strptime(x, shape))
        print(i,'тип данных:',df[i].dtypes)
    return df


data_type(final_ab_events,'%Y-%m-%dT%H:%M:%S',col=['event_dt'])
data_type(ab_project_marketing_events,'%Y-%m-%d',col=['start_dt','finish_dt'])
data_type(final_ab_new_users,'%Y-%m-%dT%H:%M:%S',col=['first_date'])

#добавляем колонку с датой без времени
final_ab_events['dt'] = pd.to_datetime(final_ab_events['event_dt']).dt.date
#добавляем колонку с днем недели
final_ab_events['week_day'] = pd.to_datetime(final_ab_events['event_dt']).dt.dayofweek

display(final_ab_events.head())
display(ab_project_marketing_events.head())
display(final_ab_new_users.head())

event_dt тип данных: datetime64[ns]
start_dt тип данных: datetime64[ns]
finish_dt тип данных: datetime64[ns]
first_date тип данных: datetime64[ns]


final_ab_events.groupby('user_id').agg({'event_name':'count'}).hist(
    bins=40, 
    figsize=(10,5), 
    grid=True);

plt.title('График количество событий на одного пользователя')# Заголовок графика
#  Добавляем подписи к осям:
plt.xlabel('Кол-во событий')
plt.ylabel('Кол-во пользователей');


np.percentile(final_ab_events.groupby('user_id').agg({'event_name':'count'}), [95, 99])

array([15., 20.])


abnormal_users = (
    final_ab_events.groupby('user_id').agg({'event_name':'count'})
    .reset_index()
)
# находим пользователей у которых количечтво событий превышает 99% и сохраняем их ID
abnormal_users = (abnormal_users[abnormal_users['event_name']> np.percentile(abnormal_users['event_name'], 99)]
                  .sort_values('event_name')['user_id']) 

# убираем аномальных пользователей из таблицы
final_ab_events_normal = final_ab_events[~final_ab_events['user_id'].isin(abnormal_users)]
print('Количество пользователей:', len(final_ab_events_normal['user_id'].unique()))
final_ab_events_normal.info()

Количество пользователей: 58182
<class 'pandas.core.frame.DataFrame'>
Int64Index: 428101 entries, 0 to 440316
Data columns (total 6 columns):
 #   Column      Non-Null Count   Dtype         
---  ------      --------------   -----         
 0   user_id     428101 non-null  object        
 1   event_dt    428101 non-null  datetime64[ns]
 2   event_name  428101 non-null  object        
 3   details     60078 non-null   float64       
 4   dt          428101 non-null  object        
 5   week_day    428101 non-null  int64         
dtypes: datetime64[ns](1), float64(1), int64(1), object(3)
memory usage: 22.9+ MB


def print_max_min_date(df,name,col=[]):
    print(name)
    for i in col:
        print('min:',df[i].min())
        print('max:',df[i].max())


min_date = '2020-12-07'
max_date_user = '2020-12-21'
max_date = '2021-01-04'


final_ab_new_users = final_ab_new_users.query('@min_date <= first_date <= @max_date_user')
final_ab_events = final_ab_events.query('@min_date <= event_dt <= @max_date')


print_max_min_date(final_ab_events,'Действия новых пользователей',col=['event_dt'])

Действия новых пользователей
min: 2020-12-07 00:00:33
max: 2020-12-30 23:36:33


print_max_min_date(
    ab_project_marketing_events.query('@min_date <= start_dt <= @max_date'),
    'Календарь маркетинговых событий',
    col=['start_dt','finish_dt'])

Календарь маркетинговых событий
min: 2020-12-25 00:00:00
max: 2020-12-30 00:00:00
min: 2021-01-03 00:00:00
max: 2021-01-07 00:00:00


print_max_min_date(
    final_ab_new_users,
    'пользователи, зарегистрировавшиеся с 7 по 21 декабря 2020',
    col=['first_date'])

пользователи, зарегистрировавшиеся с 7 по 21 декабря 2020
min: 2020-12-07 00:00:00
max: 2020-12-21 00:00:00


tests_events = final_ab_participants.query('ab_test=="recommender_system_test"').merge(final_ab_new_users, on='user_id')

print_max_min_date(
    tests_events,
    'пользователи, зарегистрировавшиеся с 7 по 21 декабря 2020',
    col=['first_date'])

пользователи, зарегистрировавшиеся с 7 по 21 декабря 2020
min: 2020-12-07 00:00:00
max: 2020-12-21 00:00:00


final_ab_participants['ab_test'].value_counts()

interface_eu_test          11567
recommender_system_test     6701
Name: ab_test, dtype: int64


agg_ab = final_ab_participants.groupby(['ab_test','group']).agg({'user_id':'count'}).reset_index()
agg_ab


agg_ab_rst = agg_ab.query('ab_test=="recommender_system_test"').reset_index(drop=True)
ab_rst_sum = agg_ab_rst['user_id'].sum()
agg_ab_rst['ratio_rst'] = round(agg_ab_rst['user_id']/ab_rst_sum*100)
agg_ab_rst


def ratio_param(df):
    df_c = df.copy()
    for i in range(len(df_c.columns)):
        df_c[df_c.columns[i]] = round(df_c[df_c.columns[i]] / (df_c[df_c.columns[i]].sum()) * 100)
    return df_c

def revision_ab(df, col=[]):
    group = df['group'].value_counts().reset_index()
    group['ratio'] = round(group['group'] / df.shape[0] * 100)
    print('Распределение по группам')
    display(group)
    for i in col:
        print('Процентное соотношение колонки', i,':')
        display(round(df[i].value_counts()/df.shape[0]*100).reset_index())
        print()
        cr_df = df.pivot_table(index='group', columns=i, values='user_id', aggfunc='count')
        print('Распределение колонки',i,'распределение по группам:')
        display(cr_df)
        print('Процентное соотношение колонки',i,'распределение по группам:')
        display(ratio_param(cr_df))
    all_df = df.pivot_table(index='group', columns=col, values='user_id', aggfunc='count')
    print('Распределение колонок',', '.join(col),'распределение по группам:')
    display(all_df)
    print('Процентное соотношение колонок',', '.join(col),'распределение по группам:')
    display(ratio_param(all_df))


revision_ab_rst = final_ab_participants.query('ab_test=="recommender_system_test"').merge(final_ab_new_users, on='user_id')

revision_ab(revision_ab_rst, col=['region','device'])

Распределение по группам

Процентное соотношение колонки region :

Распределение колонки region распределение по группам:

Процентное соотношение колонки region распределение по группам:

Процентное соотношение колонки device :

Распределение колонки device распределение по группам:

Процентное соотношение колонки device распределение по группам:

Распределение колонок region, device распределение по группам:

Процентное соотношение колонок region, device распределение по группам:


revision_ab(
    final_ab_participants.query('ab_test!="recommender_system_test"')
    .merge(final_ab_new_users, on='user_id')
    , col=['region','device']
)

Распределение по группам

Процентное соотношение колонки region :

Распределение колонки region распределение по группам:

Процентное соотношение колонки region распределение по группам:

Процентное соотношение колонки device :

Распределение колонки device распределение по группам:

Процентное соотношение колонки device распределение по группам:

Распределение колонок region, device распределение по группам:

Процентное соотношение колонок region, device распределение по группам:


rst_A = final_ab_participants.query('ab_test=="recommender_system_test" and group == "A"').user_id.unique()
rst_B = final_ab_participants.query('ab_test=="recommender_system_test" and group == "B"').user_id.unique()
iet_A = final_ab_participants.query('ab_test=="interface_eu_test" and group == "A"').user_id.unique()
iet_B = final_ab_participants.query('ab_test=="interface_eu_test" and group == "B"').user_id.unique()


list_tests = [rst_A,rst_B,iet_A,iet_B]
list_tests_name = ['rst_A','rst_B','iet_A','iet_B']
intersection_tests = pd.DataFrame(list_tests_name, columns = ['name'])

for i in range(len(list_tests)):
    list_num = []
    for j in range(len(list_tests)):
        list_num.append(len(list(set(list_tests[i]) & set(list_tests[j]))))
    intersection_tests[list_tests_name[i]] = list_num
    
intersection_tests = intersection_tests.set_index('name')
intersection_tests


intersection_iet = [
    len(list(set(rst_A) & set(final_ab_participants.query('ab_test=="interface_eu_test"').user_id.unique()))),
    len(list(set(rst_B) & set(final_ab_participants.query('ab_test=="interface_eu_test"').user_id.unique())))
]

agg_ab_rst['intersection_iet'] = intersection_iet
agg_ab_rst['ratio_iet'] = round(agg_ab_rst['intersection_iet']/sum(intersection_iet)*100)
agg_ab_rst


rst = final_ab_participants.query('ab_test=="recommender_system_test"').drop(columns='ab_test')
rst.head()


fabnu_crop_rst = final_ab_new_users.query('user_id in @rst.user_id.unique()')
print('Новые пользователи и новые пользователи для нашего теста',final_ab_new_users.shape[0],'>',fabnu_crop_rst.shape[0])
fabnu_crop_rst.head()

Новые пользователи и новые пользователи для нашего теста 56470 > 6701


auditorium = final_ab_new_users['region'].value_counts().reset_index()
auditorium.columns = ['region','all_users']
auditorium['rst_test'] = fabnu_crop_rst.query('@min_date <= first_date <= @max_date_user')['region'].value_counts().to_list()
auditorium['ratio'] = round(auditorium['rst_test']/auditorium['all_users']*100,2)
auditorium


final_ab_events_crop = final_ab_events.query('user_id in @rst.user_id and event_dt < "2020-12-29"')
print(final_ab_events.shape[0],'>',final_ab_events_crop.shape[0])
print(final_ab_events_crop.user_id.nunique())
final_ab_events_crop = final_ab_events_crop.merge(rst, on='user_id')
final_ab_events_crop = final_ab_events_crop.merge(fabnu_crop_rst, on='user_id')
final_ab_events_crop.head()

440317 > 24186
3675


auditorium['rst_test_crop'] = (
    final_ab_events_crop.groupby(['user_id','region'])
   .agg({'group':'min'}).reset_index()['region']
   .value_counts().to_list()
  )
auditorium['ratio_crop'] = round(auditorium['rst_test_crop']/auditorium['all_users']*100,2)
auditorium


final_not_ab_events_crop = final_ab_events.query('user_id not in @rst.user_id and event_dt < "2020-12-29"')
print(final_ab_events.shape[0],'>',final_not_ab_events_crop.shape[0])
print(final_not_ab_events_crop.user_id.nunique())
final_not_ab_events_crop = final_not_ab_events_crop.merge(final_ab_new_users, on='user_id')
final_not_ab_events_crop.head()

440317 > 405896
55027


final_ab_events_crop['event_name'].value_counts().reset_index()


round(final_ab_events_crop['event_name'].value_counts()/final_ab_events_crop.shape[0]*100,2).reset_index()


def funnel_through(df, u_id, event_name, date_time, list_events, list_events_text, title, through=False, img=False):
    df = df.sort_values(['user_id','event_dt'])
    #создаем сводную таблицу
    step_data_pivot = df.pivot_table(index=u_id, #user_id, devaice_id ... _id
                                   columns=event_name, #event_name
                                   values=date_time, #event_date
                                   aggfunc='min')
    
    counts_step = len(list_events)#определяем кол-во шагов
    steps = {}#создаем словарь шагов
    steps[0] = ~step_data_pivot[list_events[0]].isna()#первый шаг воронки проверка на не пустое значение
    if through:
        for i in range(0,len(list_events)-1):#остальные шаги
            steps[i+1] = steps[0] & (~step_data_pivot[list_events[i+1]].isna())
        #проверяем True предыдущего шага и что есть два следущих события True и они идут друг за другом
    else:
        for i in range(0,len(list_events)-1):#остальные шаги
            steps[i+1] = steps[i] & (step_data_pivot[list_events[i+1]] > step_data_pivot[list_events[i]])
        #проверяем True предыдущего шага и что есть два следущих события True и они идут друг за другом
    steps_sum = [sum(steps[x]) for x in steps.keys()]#считаем сумму
    
    df_steps = pd.DataFrame(steps_sum, index=list_events_text, columns=['quantity']) #собираем в таблицу
    df_steps['total'] = round(df_steps['quantity']/df_steps['quantity'].sum() * 100) #добавляем % от первого события
    df_steps['first_step'] = round(df_steps['quantity']/df_steps['quantity'][0] * 100) #добавляем % от первого события
    df_steps['steps'] = (round(df_steps['quantity'].pct_change(),2) + 1) * 100 #добавляем % от предыдущего шага
    display(df_steps) #выводим таблицу можно сделать return если не нужна визуализация
    
    if img:
        #делаем график воронки
        fig = go.Figure(go.Funnel(
        y = df_steps.index,
        x = df_steps['quantity']
        ))
        fig.update_layout(title=title)
        fig.show()


#подпись осей день + понедельник
def mon_ticks(dt_list):
    day_ticks = []
    for i in dt_list:
        if i.strftime('%a') == 'Mon':
            day_ticks.append(i.strftime('%d') + '\n' + i.strftime('%a'))
        else:
            day_ticks.append(i.strftime('%d'))

    return plt.xticks(dt_list, day_ticks)


list_events = ['login', 'product_page', 'product_cart', 'purchase']


funnel_through(
    final_ab_events_crop,
    'user_id',
    'event_name',
    'event_dt',
    list_events,
    list_events,
    'Сквозная воронка пользователей теста',
    through=True,
    img=True
    
)


funnel_through(
    final_ab_events_crop.query('group == "A"'),
    'user_id',
    'event_name',
    'event_dt',
    list_events,
    list_events,
    'Сквозная воронка группы А',
    through=True,
    img=True
    
)


funnel_through(
    final_ab_events_crop.query('group == "B"'),
    'user_id',
    'event_name',
    'event_dt',
    list_events,
    list_events,
    'Сквозная воронка группы B',
    through=True,
    img=True
)


funnel_through(
    final_not_ab_events_crop,
    'user_id',
    'event_name',
    'event_dt',
    list_events,
    list_events,
    'Сквозная воронка без теста',
    through=True,
    img=True 
)


final_not_ab_events_crop.user_id.nunique()

49764


not_active_rst_count = [
    len(list(set(rst_A)-set(final_ab_events_crop.user_id.unique()))),
    len(list(set(rst_B)-set(final_ab_events_crop.user_id.unique())))
                 ]


agg_ab_rst['not_active_rst'] = not_active_rst_count

agg_ab_rst['ratio_not_active_rst'] = round(agg_ab_rst['not_active_rst']/sum(not_active_rst_count) * 100)
agg_ab_rst['active_rst'] = agg_ab_rst['user_id'] - agg_ab_rst['not_active_rst']
agg_ab_rst['active_rst_%'] = round(agg_ab_rst['active_rst'] / agg_ab_rst['user_id'] * 100)
print(agg_ab_rst['user_id'].sum(),'>',agg_ab_rst['not_active_rst'].sum())
print(round(agg_ab_rst['not_active_rst'].sum() / agg_ab_rst['user_id'].sum()*100),'%')
agg_ab_rst

6701 > 3026
45 %


not_active_rst = list(set(rst.user_id.unique())-set(final_ab_events_crop.user_id.unique()))

not_active_rst_df = rst.query('user_id in @not_active_rst')
not_active_rst_df = not_active_rst_df.merge(final_ab_new_users, on='user_id')
not_active_rst_df.head()


revision_ab(not_active_rst_df, col=['region','device'])

Распределение по группам

Процентное соотношение колонки region :

Распределение колонки region распределение по группам:

Процентное соотношение колонки region распределение по группам:

Процентное соотношение колонки device :

Распределение колонки device распределение по группам:

Процентное соотношение колонки device распределение по группам:

Распределение колонок region, device распределение по группам:

Процентное соотношение колонок region, device распределение по группам:


not_active_iet = (
    set(final_ab_participants.query('ab_test!="recommender_system_test"').user_id.unique()) - 
    set(final_ab_events.user_id.unique())
       )

print(len(final_ab_participants.query('ab_test!="recommender_system_test"').user_id.unique()),'>',len(not_active_iet))
print(round(len(not_active_iet) / len(final_ab_participants.query('ab_test!="recommender_system_test"').user_id.unique())*100),'%')

11567 > 717
6 %


ab_project_marketing_events.sort_values('start_dt')


final_ab_events_crop['lifetime'] = (
        final_ab_events_crop['event_dt'] - final_ab_events_crop['first_date']
    ).dt.days
print('До',final_ab_events_crop.shape[0])
final_ab_events_crop = final_ab_events_crop.query('lifetime <= 14')
print('После ',final_ab_events_crop.shape[0])

final_ab_events_crop.head()

До 24186
После  23724


evens_user = final_ab_events_crop.groupby(['group']).agg({'user_id':'nunique','dt':'count'}).reset_index()
evens_user['evens_user'] = round(evens_user['dt'] / evens_user['user_id'],2)
evens_user


final_ab_events_crop.groupby(['user_id','group']).agg({'event_name':'count'}).reset_index().groupby('group').agg({'event_name':'median'})


mean_events = final_ab_events_crop.groupby(['user_id','group']).agg({'event_name':'count'}).reset_index()

plt.figure(figsize=(14, 3))
ax = sns.boxplot(data=mean_events, x='event_name', dodge=False);
ax.set_ylabel('', size=14)
ax.set_xlabel('кол-во событий', size=14)
plt.title('График распределения кол-во событий пользователя', size=18)
plt.xlim(-2, 20);


alpha = 0.05  # критический уровень статистической значимости

results = st.shapiro(mean_events['event_name'])
p_value = results[
    1
]  # второе значение в массиве результатов (с индексом 1) - p-value

print('p-значение: ', p_value)

if p_value < alpha:
    print('Отвергаем нулевую гипотезу: распределение не нормально')
else:
    print('Не получилось отвергнуть нулевую гипотезу, всё нормально')

p-значение:  1.3970945689318426e-42
Отвергаем нулевую гипотезу: распределение не нормально


print(np.percentile(mean_events['event_name'], [95, 99]))

[14. 18.]


crop_num = np.percentile(mean_events['event_name'], 95)

anom_users_tests = mean_events.query('event_name > @crop_num')['user_id']
print('Аномальных пользователей:',len(anom_users_tests))
print('До',final_ab_events_crop.user_id.nunique())
final_ab_events_crop = final_ab_events_crop.query('user_id not in @anom_users_tests')
print('после',final_ab_events_crop.user_id.nunique())

Аномальных пользователей: 176
До 3675
после 3499


dt_users = (
    final_ab_events_crop.pivot_table(index='dt',columns='group', values='user_id', aggfunc='count')
    .plot( 
        y=list(final_ab_events_crop['group'].unique()), 
        style='o-',  
        grid=True, 
        figsize=(10, 5), 
        title='Распределения кол-во событий по дням и по группам',
    )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(1.02, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


dt_users = (
    final_ab_events_crop.pivot_table(index='dt',columns='group', values='user_id', aggfunc='nunique')
    .plot( 
        y=list(final_ab_events_crop['group'].unique()), 
        style='o-',  
        grid=True, 
        figsize=(10, 5), 
        title='Распределения кол-во пользователей по дням и по группам',
    )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(1.02, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


week_list = ['Mon', 'Tue', 'Wed', 'Thu', 'Fri', 'Sat', 'Sun']

dt_users = (
    final_ab_events_crop.pivot_table(index='week_day',columns='group', values='user_id', aggfunc='count')
    .plot( 
        y=list(final_ab_events_crop['group'].unique()), 
        style='o-',  
        grid=True, 
        figsize=(10, 5), 
        title='Распределения кол-во пользователей по дням и по группам',
    )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(1.02, 0.5));#вынос легенды за пределы таблицы


plt.xticks(final_ab_events_crop['week_day'].sort_values().unique(), week_list)

plt.show()


plt.figure(figsize=(16, 6))

ax1 = plt.subplot(1, 2, 1)
dt_users = (
    final_ab_events_crop.query('group == "A"').pivot_table(index='dt',columns='event_name', values='user_id', aggfunc='count')
    .plot( 
        y=list(final_ab_events_crop['event_name'].unique()), 
        style='o-',  
        grid=True, 
        title='Распределения кол-во событий по дням и по типу события в группе А',
        legend=False,
        ax=ax1
        )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())

ax2 = plt.subplot(1, 2, 2, sharey=ax1)
dt_userss = (
    final_ab_events_crop.query('group == "B"').pivot_table(index='dt',columns='event_name', values='user_id', aggfunc='count')
    .plot( 
        y=list(final_ab_events_crop['event_name'].unique()), 
        style='o-',  
        grid=True,  
        title='Распределения кол-во событий по дням и по типу события в группе B',
        ax=ax2
        )
)

dt_userss.set_xlabel('дата')
dt_userss.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(-0.24, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


plt.figure(figsize=(16, 6))

ax1 = plt.subplot(1, 2, 1)
dt_users = (
    final_ab_events_crop.query('group == "A"').pivot_table(index='dt',columns='region', values='user_id', aggfunc='nunique')
    .plot( 
        y=list(final_ab_events_crop['region'].unique()), 
        style='o-',  
        grid=True, 
        title='Распределения кол-во пользователей по дням и по регионам в группе А',
        legend=False,
        ax=ax1
        )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())

ax2 = plt.subplot(1, 2, 2, sharey=ax1)
dt_userss = (
    final_ab_events_crop.query('group == "B"').pivot_table(index='dt',columns='region', values='user_id', aggfunc='nunique')
    .plot( 
        y=list(final_ab_events_crop['region'].unique()), 
        style='o-',  
        grid=True,  
        title='Распределения кол-во пользователей по дням и по регионам в группе B',
        ax=ax2
        )
)

dt_userss.set_xlabel('дата')
dt_userss.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(-0.24, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


plt.figure(figsize=(16, 6))

ax1 = plt.subplot(1, 2, 1)
dt_users = (
    final_ab_events_crop.query('group == "A"').pivot_table(index='dt',columns='device', values='user_id', aggfunc='nunique')
    .plot( 
        y=list(final_ab_events_crop['device'].unique()), 
        style='o-',  
        grid=True, 
        title='Распределения кол-во пользователей по дням и по типу устройства в группе А',
        legend=False,
        ax=ax1
        )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())

ax2 = plt.subplot(1, 2, 2, sharey=ax1)
dt_userss = (
    final_ab_events_crop.query('group == "B"').pivot_table(index='dt',columns='device', values='user_id', aggfunc='nunique')
    .plot( 
        y=list(final_ab_events_crop['device'].unique()), 
        style='o-',  
        grid=True,  
        title='Распределения кол-во пользователей по дням и по типу устройства в группе B',
        ax=ax2
        )
)

dt_userss.set_xlabel('дата')
dt_userss.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(-0.24, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


dt_users = (
    final_not_ab_events_crop.pivot_table(index='dt', values='user_id', aggfunc='nunique')
    .plot( 
         
        style='o-',  
        grid=True, 
        figsize=(10, 5), 
        title='Распределения кол-во событий по дням и по группам',
    )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(1.02, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


dt_users = (
    final_not_ab_events_crop.pivot_table(index='dt',columns='event_name', values='user_id', aggfunc='count')
    .plot( 
        y=list(final_ab_events_crop['event_name'].unique()), 
        style='o-',  
        grid=True, 
        figsize=(10, 5), 
        title='Распределения кол-во событий по дням вне нашего теста',
    )
)

dt_users.set_xlabel('дата')
dt_users.set_ylabel('кол-во')
plt.legend(loc='center left', bbox_to_anchor=(1.02, 0.5));#вынос легенды за пределы таблицы
mon_ticks(final_ab_events_crop['dt'].sort_values().unique())
plt.show()


def equality_check(t1, t2, s1, s2, alpha):

    successes = np.array([s1, s2])
    trials = np.array([t1, t2])

    # пропорция успехов в первой группе:
    p1 = successes[0]/trials[0]

    # пропорция успехов во второй группе:
    p2 = successes[1]/trials[1]
    
    # пропорция успехов в комбинированном датасете:
    p_combined = (successes[0] + successes[1]) / (trials[0] + trials[1])

    # разница пропорций в датасетах
    difference = p1 - p2 

    # считаем статистику в ст.отклонениях стандартного нормального распределения
    z_value = difference / (p_combined * (1 - p_combined) * (1/trials[0] + 1/trials[1])) ** 0.5

    # задаем стандартное нормальное распределение (среднее 0, ст.отклонение 1)
    distr = st.norm(0, 1)  

    p_value = (1 - distr.cdf(abs(z_value))) * 2

    print('p-значение: ', p_value)

    if p_value < alpha:
        print('Отвергаем нулевую гипотезу: между долями есть значимая разница')
    else:
        print(
            'Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными'
        )


def session(da):
    #групперуем по пользователю и номеру сессии добавляя время начала и конца сессии и названия события первого и последнего.
    session = (
        da
        .pivot_table(index=['user_id','session_id'], values=['event_dt','event_name'], aggfunc=['first','last'])
        .reset_index()
    )
    #групперуем по пользователю и номеру сессии считаем общее кол-во событий за сессию и уникальных событий за сессию
    counts_events = (
        da
        .pivot_table(index=['user_id','session_id'], values=['event_name'], aggfunc=['count','nunique'])
        .reset_index()
    )
    #функция удаление двухуровневых названий колонок
    def del_duble_col_name(df1):
        name_col = pd.DataFrame.from_records(df1.columns) #берем двухуровневые названия колонок
        name_col['col'] = name_col[0] + name_col[1].str.replace('event', '_event') #соединяем их в один уровень
        df1.columns = name_col['col'].to_list()#назначаем колонкам один уровень с названиями
        return df1#возвращаем таблицу

    #применяем функцию
    del_duble_col_name(session)
    del_duble_col_name(counts_events)
    #добавляем колонку с датой без времени
    session['dt'] = pd.to_datetime(session['first_event_dt']).dt.date
    #добавляем колонку с днем недели
    session['week_day'] = pd.to_datetime(session['first_event_dt']).dt.dayofweek
    #добавляем колонку с продолжительностью
    session['duration_m'] = (session['last_event_dt'] - session['first_event_dt']).astype('timedelta64[m]')
    #добавляем колонку с браузерами
    session = pd.merge(session, final_ab_events_crop[['user_id','group','region','device']] ,on='user_id', how='left')
    #добавляем колонку с кол-вом событий
    session = pd.merge(session, counts_events, on=['user_id','session_id'], how='left')

    return session


# функция для создания пользовательских профилей

def get_profiles(sessions, orders, events, event_names=[]):
    
    # находим параметры первых посещений
    profiles = (
        sessions.sort_values(by=['user_id', 'first_event_dt'])
        .groupby('user_id')
        .agg(
            {
                'first_event_dt': 'first',
                'group': 'first',
                'device': 'first',
                'region': 'first',
            }
        )
        .rename(columns={'first_event_dt': 'first_ts'})
        .reset_index()
    )
    
    # для когортного анализа определяем дату первого посещения
    # и первый день месяца, в который это посещение произошло
    profiles['dt'] = profiles['first_ts'].dt.date
    profiles['month'] = profiles['first_ts'].astype('datetime64[M]')

    # добавляем признак платящих пользователей
    profiles['payer'] = profiles['user_id'].isin(orders['user_id'].unique())

    # добавляем флаги для всех событий из event_names
    for event in event_names:
        if event in events['event_name'].unique():
            profiles[event] = profiles['user_id'].isin(
                events.query('event_name == @event')['user_id'].unique()
            )

    
    return profiles


def group_cohort(df, gr): # функция для формирования таблиц соотношения платящих от всех пользователей
    gc = (pd.merge(
    df.groupby(gr).agg({'user_id':'nunique'}), # группируем по параметру всех
    df.loc[df['payer']==True].groupby(gr).agg({'user_id':'nunique'}), # группируем по параметру платящих
    on=gr, how='outer') #объединяем
    .rename(columns={'user_id_x': 'all_users', 'user_id_y': 'payer_users'}) # переменовываем колонки
    .sort_values('all_users',ascending=False) # сортируем по количеству пользователей
    .reset_index() # сбрасываем индекс
    )

    gc['percent_payers'] = round(gc['payer_users'] / gc['all_users'] * 100, 2) #вычисляем процент платящих
    gc['percent_users'] = round(
        gc['all_users'] / gc['all_users'].sum() * 100 #вычисляем процент пользователей от всех пользователей
        , 2)
    return gc


# функция для расчёта удержания

def get_retention(
    profiles,
    sessions,
    observation_date,
    horizon_days,
    dimensions=[],
    ignore_horizon=False,
):

    # добавляем столбец payer в передаваемый dimensions список
    dimensions = ['payer'] + dimensions

    # исключаем пользователей, не «доживших» до горизонта анализа
    last_suitable_acquisition_date = observation_date
    if not ignore_horizon:
        last_suitable_acquisition_date = observation_date - timedelta(
            days=horizon_days - 1
        )
    result_raw = profiles.query('dt <= @last_suitable_acquisition_date')

    # собираем «сырые» данные для расчёта удержания
    result_raw = result_raw.merge(
        sessions[['user_id', 'first_event_dt']], on='user_id', how='left'
    )
    result_raw['lifetime'] = (
        result_raw['first_event_dt'] - result_raw['first_ts']
    ).dt.days

    # функция для группировки таблицы по желаемым признакам
    def group_by_dimensions(df, dims, horizon_days):
        result = df.pivot_table(
            index=dims, columns='lifetime', values='user_id', aggfunc='nunique'
        )
        cohort_sizes = (
            df.groupby(dims)
            .agg({'user_id': 'nunique'})
            .rename(columns={'user_id': 'cohort_size'})
        )
        result = cohort_sizes.merge(result, on=dims, how='left').fillna(0)
        result = result.div(result['cohort_size'], axis=0)
        result = result[['cohort_size'] + list(range(horizon_days))]
        result['cohort_size'] = cohort_sizes
        return result

    # получаем таблицу удержания
    result_grouped = group_by_dimensions(result_raw, dimensions, horizon_days)

    # получаем таблицу динамики удержания
    result_in_time = group_by_dimensions(
        result_raw, dimensions + ['dt'], horizon_days
    )

    # возвращаем обе таблицы и сырые данные
    return result_raw, result_grouped, result_in_time


# функция для сглаживания фрейма

def filter_data(df, window):
    # для каждого столбца применяем скользящее среднее
    for column in df.columns.values:
        df[column] = df[column].rolling(window).mean() 
    return df


# функция для визуализации удержания

def plot_retention(retention, retention_history, horizon, window=7):

    # задаём размер сетки для графиков
    plt.figure(figsize=(15, 10))

    # исключаем размеры когорт и удержание первого дня
    retention = retention.drop(columns=['cohort_size', 0])
    # в таблице динамики оставляем только нужный лайфтайм
    retention_history = retention_history.drop(columns=['cohort_size'])[
        [horizon - 1]
    ]

    # если в индексах таблицы удержания только payer,
    # добавляем второй признак — cohort
    if retention.index.nlevels == 1:
        retention['cohort'] = 'All users'
        retention = retention.reset_index().set_index(['cohort', 'payer'])

    # в таблице графиков — два столбца и две строки, четыре ячейки
    # в первой строим кривые удержания платящих пользователей
    ax1 = plt.subplot(2, 2, 1)
    retention.query('payer == True').droplevel('payer').T.plot(
        grid=True, ax=ax1
    )
    plt.legend()
    plt.xlabel('Лайфтайм')
    plt.title('Удержание платящих пользователей')

    # во второй ячейке строим кривые удержания неплатящих
    # вертикальная ось — от графика из первой ячейки
    ax2 = plt.subplot(2, 2, 2, sharey=ax1)
    retention.query('payer == False').droplevel('payer').T.plot(
        grid=True, ax=ax2
    )
    plt.legend()
    plt.xlabel('Лайфтайм')
    plt.title('Удержание неплатящих пользователей')

    # в третьей ячейке — динамика удержания платящих
    ax3 = plt.subplot(2, 2, 3)
    # получаем названия столбцов для сводной таблицы
    columns = [
        name
        for name in retention_history.index.names
        if name not in ['dt', 'payer']
    ]
    # фильтруем данные и строим график
    filtered_data = retention_history.query('payer == True').pivot_table(
        index='dt', columns=columns, values=horizon - 1, aggfunc='mean'
    )
    filter_data(filtered_data, window).plot(grid=True, ax=ax3)
    plt.xlabel('Дата привлечения')
    plt.title(
        'Динамика удержания платящих пользователей на {}-й день'.format(
            horizon
        )
    )

    # в чётвертой ячейке — динамика удержания неплатящих
    ax4 = plt.subplot(2, 2, 4, sharey=ax3)
    # фильтруем данные и строим график
    filtered_data = retention_history.query('payer == False').pivot_table(
        index='dt', columns=columns, values=horizon - 1, aggfunc='mean'
    )
    filter_data(filtered_data, window).plot(grid=True, ax=ax4)
    plt.xlabel('Дата привлечения')
    plt.title(
        'Динамика удержания неплатящих пользователей на {}-й день'.format(
            horizon
        )
    )
    
    plt.tight_layout()
    plt.show()


groups_sizes = final_ab_events_crop.groupby('group').agg({'user_id':'nunique'}).T.reset_index()
groups_sizes.columns.name=''
groups_sizes.rename(columns = {'index':'event_name'}, inplace = True)
groups_sizes['event_name']= 'All'
groups_sizes


equality_check(
    groups_sizes['A'][0]+groups_sizes['B'][0],
    groups_sizes['A'][0]+groups_sizes['B'][0],
    groups_sizes['A'][0],
    groups_sizes['B'][0],
    0.05
)

p-значение:  0.0
Отвергаем нулевую гипотезу: между долями есть значимая разница


groups_users = (
    final_ab_events_crop.pivot_table( index='event_name',columns='group', values='user_id', aggfunc='nunique')
    .sort_values('A',ascending=False)
    .reset_index()
)
groups_users.columns.name=''
groups_users = groups_users.reindex(index = [0, 1, 3, 2]).reset_index(drop=False)
groups_users['other'] = final_not_ab_events_crop.pivot_table( index='event_name', values='user_id', aggfunc='nunique')['user_id'].to_list()
groups_users


def cicle_event(df, group1, group2, alpha):
    for i in range(1, len(df[group1])):
        print(group1,'&', group2, df['event_name'][i])
        equality_check(
            df[group1][0],
            df[group2][0],
            df[group1][i],
            df[group2][i],
            alpha)
        print()


holm_shidak_alpha = round(1 - (1 - 0.05)**(1/3),3)
holm_shidak_alpha

0.017


cicle_event(groups_users, 'A', 'B', holm_shidak_alpha)

A & B product_page
p-значение:  8.396691117362742e-05
Отвергаем нулевую гипотезу: между долями есть значимая разница

A & B product_cart
p-значение:  0.5505246231934882
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными

A & B purchase
p-значение:  0.13924623799795133
Не получилось отвергнуть нулевую гипотезу, нет оснований считать доли разными


orders = final_ab_events_crop.query('event_name == "purchase"').groupby(['user_id','dt']).agg({'details': 'sum','group': 'max','region':'count'}).reset_index()
orders = orders.rename(columns={'dt':'date','region':'orders','details':'revenue'})

orders.head()


df_revenue = orders.groupby('group').agg({'user_id':'nunique','revenue':'sum'})
df_revenue['user_ratio'] = round(df_revenue['user_id']/df_revenue['user_id'].sum()*100)
df_revenue['revenue_ratio'] = round(df_revenue['revenue']/df_revenue['revenue'].sum()*100)
df_revenue['one_user'] = round(df_revenue['revenue']/df_revenue['user_id'])
df_revenue


visitors = final_ab_events_crop.groupby(['dt','group']).agg({'user_id':'nunique'}).reset_index()
visitors = visitors.rename(columns={'dt':'date','user_id':'visitors'})
visitors.head()


# строим таблицу с датой и группой
dates_groups = orders[['date', 'group']].drop_duplicates()
# агриггируем данные по заказам по дате и группе
orders_aggregated = dates_groups.apply(
    lambda x: orders[
        np.logical_and(
            orders['date'] <= x['date'], orders['group'] == x['group']
        )
    ].agg(
        {
            'date': 'max',
            'group': 'max',
            'orders': 'sum',
            'user_id': 'nunique',
            'revenue': 'sum',
        }
    ),
    axis=1,
).sort_values(by=['date', 'group'])

# агриггируем данные по посещениям по дате и группе
visitors_aggregated = dates_groups.apply(
    lambda x: visitors[
        np.logical_and(
            visitors['date'] <= x['date'], visitors['group'] == x['group']
        )
    ].agg(
        {
            'date': 'max',
            'group': 'max',
            'visitors': 'sum'
        }
    ),
    axis=1,
).sort_values(by=['date', 'group'])

# объединяем полученные таблицы по заказам и посещениям
cumulative_data = orders_aggregated.merge(
    visitors_aggregated, left_on=['date', 'group'], right_on=['date', 'group']
)

# переименовываем столбцы
cumulative_data.columns = [
    'date',
    'group',
    'orders',
    'buyers',
    'revenue',
    'visitors',
]

# Отделим группу А из всей таблицы
cumulative_revenue_a = cumulative_data[cumulative_data['group']=='A'][['date','revenue', 'orders']]

# Отделим группу B из всей таблицы
cumulative_revenue_b = cumulative_data[cumulative_data['group']=='B'][['date','revenue', 'orders']]


fig = plt.figure(figsize=(14, 6)) # Размер графика

# Строим график выручки группы А
plt.plot(cumulative_revenue_a['date'], cumulative_revenue_a['revenue'], label='A')

# Строим график выручки группы B
plt.plot(cumulative_revenue_b['date'], cumulative_revenue_b['revenue'], label='B')

plt.title('График кумулятивной выручки по группам')# Заголовок графика
plt.xticks(rotation=0) # поворот подписей
#  Добавляем подписи к осям:
plt.xlabel('Дата выручки')
plt.ylabel('Сумма выручки')
plt.ticklabel_format(axis='y', style='plain', scilimits=(0,0))#  отображение оси У целым числом
plt.legend();


fig = plt.figure(figsize=(14, 6)) # Размер графика
# Строим график среднего чека группы А
plt.plot(cumulative_revenue_a['date'], cumulative_revenue_a['revenue']/cumulative_revenue_a['orders'], label='A')
# Строим график среднего чека группы В
plt.plot(cumulative_revenue_b['date'], cumulative_revenue_b['revenue']/cumulative_revenue_b['orders'], label='B')

plt.title('График кумулятивного среднего чека по группам')# Заголовок графика
#  Добавляем подписи к осям:
plt.xlabel('Дата')
plt.ylabel('Сумма среднего чека')
plt.legend();


# собираем данные в одном датафрейме
merged_cumulative_revenue = cumulative_revenue_a.merge(cumulative_revenue_b, left_on='date', right_on='date', how='left', suffixes=['A', 'B'])

fig = plt.figure(figsize=(14, 6)) # Размер графика
# cтроим отношение средних чеков
plt.plot(
    merged_cumulative_revenue['date'],
    (
        merged_cumulative_revenue['revenueB']/merged_cumulative_revenue['ordersB']
    )/(
        merged_cumulative_revenue['revenueA']/merged_cumulative_revenue['ordersA']
    )-1
)
plt.title('График относительного изменения кумулятивного среднего чека группы B к группе A')# Заголовок графика
#  Добавляем подписи к осям:
plt.xlabel('Дата')
plt.ylabel('Различия среднего чека')

# добавляем ось X
plt.axhline(y=0.3, color='grey', linestyle='--')
plt.axhline(y=0, color='black', linestyle='--');


# Отделим группу А из всей таблицы
cumulative_orders_a = cumulative_data[cumulative_data['group']=='A'][['date', 'orders', 'visitors']]

# Отделим группу B из всей таблицы
cumulative_orders_b = cumulative_data[cumulative_data['group']=='B'][['date', 'orders', 'visitors']]


fig = plt.figure(figsize=(14, 6)) # Размер графика

# Строим график среднего количества заказов группы А
plt.plot(cumulative_orders_a['date'], cumulative_orders_a['orders']/cumulative_orders_a['visitors'], label='A')

# Строим график среднего количества заказов группы B
plt.plot(cumulative_orders_b['date'], cumulative_orders_b['orders']/cumulative_orders_b['visitors'], label='B')

plt.title('График кумулятивного среднего количества заказов по группам')# Заголовок графика
#  Добавляем подписи к осям:
plt.xlabel('Дата')
plt.ylabel('Кол-во заказов')
plt.grid() # Добавление сетки
plt.legend();


# собираем данные в одном датафрейме
merged_cumulative_orders = cumulative_orders_a.merge(cumulative_orders_b, left_on='date', right_on='date', how='left', suffixes=['A', 'B'])

fig = plt.figure(figsize=(14, 6)) # Размер графика
# cтроим отношение средних чеков
plt.plot(
    merged_cumulative_orders['date'],
    (
        merged_cumulative_orders['visitorsB']/merged_cumulative_orders['ordersB']
    )/(
        merged_cumulative_orders['visitorsA']/merged_cumulative_orders['ordersA']
    )-1
)
plt.title('График относительного изменения кумулятивного среднего количества заказов группы B к группе A')# Заголовок графика
#  Добавляем подписи к осям:
plt.xlabel('Дата')
plt.ylabel('Относительное изменение среднего кол-ва заказов')
plt.grid() # Добавление сетки
# добавляем ось X
plt.axhline(y=0.20, color='grey', linestyle='--')
plt.axhline(y=0, color='black', linestyle='--');


orders_by_users = (
    orders.groupby(['user_id','group'], as_index=False)
    .agg({'orders': 'sum'}).reset_index()
)

fig = plt.figure(figsize=(14, 6)) # Размер графика
sns.scatterplot(data=orders_by_users, x='index', y='orders', hue='group')
#  Добавляем подписи к осям:
plt.xlabel('Пользователь')
plt.ylabel('Кол-во заказов')
plt.show;


print(np.percentile(orders_by_users['orders'], [95, 99]))

[4. 5.]


fig = plt.figure(figsize=(14, 6)) # Размер графика
sns.scatterplot(data=orders.reset_index(), x='index', y='revenue', hue='group')
#  Добавляем подписи к осям:
plt.xlabel('Заказ')
plt.ylabel('Стоимость заказа')
plt.show;


print(np.percentile(orders['revenue'], [95, 99]))

[ 99.99 499.99]


# применим тест Манна-Уитни
print('p-value: {0:.3f}'.format(
    st.mannwhitneyu(
        orders[orders['group']=='A']['revenue'], orders[orders['group']=='B']['revenue']
    )[1]
))
# вычислим относительное различие в среднем
print('Относительное различие в среднем: {0:.3f}'.format(
    orders[orders['group']=='B']['revenue'].mean()/orders[orders['group']=='A']['revenue'].mean()-1
))

p-value: 0.273
Относительное различие в среднем: -0.058


# отсортируем таблицу по пользователям и времени:
df = final_ab_events_crop.copy().sort_values(['user_id', 'event_dt'])
# определим длительность между событиями
diff_timestamp = df.groupby('user_id')['event_dt'].diff()

# создадим переменную 30 минут на простой для определения новой сесии - стандарт если нет других данных
time_session = np.timedelta64(30,'m')
# размечаем события превышающие пороговое значение
new_session = (diff_timestamp.isnull()) | (diff_timestamp > time_session)
# присвоим номер сессии пользователя в соответствии таблице new_session присвоив ранк и поменяем тип на число
df['session_id'] = df.loc[new_session, ['user_id', 'event_dt']].groupby('user_id').rank(method='first').astype(int)
# заполним промежеточные значения Nan на ранк в соответсвии с их порядком до новой сессии
df['session_id'] = df['session_id'].fillna(method='ffill').astype(int)

df.head()


sessions = session(df)
sessions.head()


events = final_ab_events_crop.copy()

profiles = get_profiles(sessions, orders, events)


group_region = group_cohort(profiles, 'region')
group_region


group_region = group_cohort(profiles, 'device')
group_region


group_region = group_cohort(profiles, 'group')
group_region


events = None  # других событий нет
horizon_days = 14
observation_date = dt(2020, 12, 28).date()  # момент анализа

dimensions=['group']

retention_raw, retention_grouped, retention_history = get_retention(
    profiles, sessions, observation_date, horizon_days,dimensions=dimensions
)
profiles

plot_retention(retention_grouped, retention_history, horizon_days, window=4)

	user_id	event_dt	event_name	details
0	E1BDDCE0DAFA2679	2020-12-07 20:22:03	purchase	99.99
1	7B6452F081F49504	2020-12-07 09:22:53	purchase	9.99
2	9CD9F34546DF254C	2020-12-07 12:59:29	purchase	4.99
3	96F27A054B191457	2020-12-07 04:02:40	purchase	4.99
4	1FD7660FDF94CA1F	2020-12-07 10:15:09	purchase	4.99

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11

	user_id	first_date	region	device
0	D72A72121175D8BE	2020-12-07	EU	PC
1	F1C668619DFE6E65	2020-12-07	N.America	Android
2	2E1BF1D4C37EA01F	2020-12-07	EU	PC
3	50734A22C0C63768	2020-12-07	EU	iPhone
4	E1BDDCE0DAFA2679	2020-12-07	N.America	iPhone

	name	regions	start_dt	finish_dt
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
4	4th of July Promo	N.America	2020-07-04	2020-07-11

	user_id	first_date	region	device
0	D72A72121175D8BE	2020-12-07	EU	PC
1	F1C668619DFE6E65	2020-12-07	N.America	Android
2	2E1BF1D4C37EA01F	2020-12-07	EU	PC
3	50734A22C0C63768	2020-12-07	EU	iPhone
4	E1BDDCE0DAFA2679	2020-12-07	N.America	iPhone

Техническое задание¶

Обзор данных¶

Мы проведем загрузку и обзор предоставленных данных¶

Импорт библиотек и загрузка данных¶

Загрузим файл из папки /datasets и сохраним в переменную¶

Предобработка данных¶

Проверка на соответсвие техническому заданию¶

проверка на временой срез¶

поверка на пересечения¶

распределение пользователей по регионам и устройствам:¶

проверка влияния маркетинговых мероприятий¶

Исследовательский анализ данные¶

Как количество событий распределены на пользователя в выборках¶

Функции для А/В анализа¶

Анализ А/В-теста¶

Дополнительный анализ:¶

Построим график кумулятивной выручки по группам и сделаем выводы и предположения:¶

Построим график кумулятивного среднего чека по группам¶

Построим график относительного изменения кумулятивного среднего чека группы B к группе A¶

Построим график кумулятивного среднего количества заказов по группам¶

Построим график относительного изменения кумулятивного среднего количества заказов группы B к группе A¶

Построим точечный график количества заказов по пользователям¶

Посчитаем 95-й и 99-й перцентили количества заказов на пользователя и выберем границу для определения аномальных пользователей.¶

Построим точечный график стоимостей заказов.¶

Посчитаем 95-й и 99-й перцентили стоимости заказов и выберем границу для определения аномальных пользователей.¶

Посчитаем статистическую значимость различий в среднем чеке заказа между группами¶

Посмотрим на удержание в группах:¶

Выводы¶

	user_id	group	ab_test
0	D1ABA3E2887B6A73	A	recommender_system_test
1	A7A3664BD6242119	A	recommender_system_test
2	DABC14FDDFADD29E	A	recommender_system_test
3	04988C5DF189632E	A	recommender_system_test
4	482F14783456D21B	B	recommender_system_test

	ab_test	group	user_id
0	interface_eu_test	A	5831
1	interface_eu_test	B	5736
2	recommender_system_test	A	3824
3	recommender_system_test	B	2877

	ab_test	group	user_id	ratio_rst
0	recommender_system_test	A	3824	57.0
1	recommender_system_test	B	2877	43.0

	rst_A	rst_B	iet_A	iet_B
name
rst_A	3824	0	482	439
rst_B	0	2877	337	344
iet_A	482	337	5831	0
iet_B	439	344	0	5736

	user_id	first_date	region	device
0	D72A72121175D8BE	2020-12-07	EU	PC
13	E6DE857AFBDC6102	2020-12-07	EU	PC
20	DD4352CDCF8C3D57	2020-12-07	EU	Android
23	831887FE7F2D6CBA	2020-12-07	EU	Android
39	4CB179C7F847320B	2020-12-07	EU	iPhone

	region	all_users	rst_test	ratio
0	EU	42340	6351	15.00
1	N.America	8347	223	2.67
2	CIS	2900	72	2.48
3	APAC	2883	55	1.91

	user_id	event_dt	event_name	details	dt	week_day	group	first_date	region	device
0	831887FE7F2D6CBA	2020-12-07 06:50:29	purchase	4.99	2020-12-07	0	A	2020-12-07	EU	Android
1	831887FE7F2D6CBA	2020-12-09 02:19:17	purchase	99.99	2020-12-09	2	A	2020-12-07	EU	Android
2	831887FE7F2D6CBA	2020-12-07 06:50:30	product_cart	NaN	2020-12-07	0	A	2020-12-07	EU	Android
3	831887FE7F2D6CBA	2020-12-08 10:52:27	product_cart	NaN	2020-12-08	1	A	2020-12-07	EU	Android
4	831887FE7F2D6CBA	2020-12-09 02:19:17	product_cart	NaN	2020-12-09	2	A	2020-12-07	EU	Android

	index	event_name
0	login	45.27
1	product_page	28.02
2	purchase	13.54
3	product_cart	13.17

	quantity	total	first_step	steps
login	3675	45.0	100.0	NaN
product_page	2303	28.0	63.0	63.0
product_cart	1079	13.0	29.0	47.0
purchase	1128	14.0	31.0	105.0

	quantity	total	first_step	steps
login	2747	44.0	100.0	NaN
product_page	1780	29.0	65.0	65.0
product_cart	824	13.0	30.0	46.0
purchase	872	14.0	32.0	106.0

device	Android	Mac	PC	iPhone
group
A	1672	373	1011	768
B	1311	260	696	610

device	Android	Mac	PC	iPhone
group
A	56.0	59.0	59.0	56.0
B	44.0	41.0	41.0	44.0

region	APAC				CIS				EU				N.America
device	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone
group
A	18.0	5.0	11.0	3.0	10.0	2.0	6.0	7.0	1590.0	354.0	964.0	726.0	54.0	12.0	30.0	32.0
B	22.0	NaN	7.0	6.0	12.0	1.0	13.0	4.0	1228.0	250.0	657.0	582.0	49.0	9.0	19.0	18.0

region	APAC				CIS				EU				N.America
device	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone	Android	Mac	PC	iPhone
group
A	45.0	100.0	61.0	33.0	45.0	67.0	32.0	64.0	56.0	59.0	59.0	56.0	52.0	57.0	61.0	64.0
B	55.0	NaN	39.0	67.0	55.0	33.0	68.0	36.0	44.0	41.0	41.0	44.0	48.0	43.0	39.0	36.0

	quantity	total	first_step	steps
login	49757	43.0	100.0	NaN
product_page	33119	29.0	67.0	67.0
product_cart	16445	14.0	33.0	50.0
purchase	16647	14.0	33.0	101.0

	user_id	group	first_date	region	device
0	482F14783456D21B	B	2020-12-14	EU	PC
1	057AB296296C7FC0	B	2020-12-17	EU	iPhone
2	E9FA12FAE3F5769C	B	2020-12-14	EU	Android
3	FDD0A1016549D707	A	2020-12-13	EU	PC
4	547E99A7BDB0FCE9	A	2020-12-12	EU	iPhone

	name	regions	start_dt	finish_dt
6	Chinese New Year Promo	APAC	2020-01-25	2020-02-07
1	St. Valentine's Day Giveaway	EU, CIS, APAC, N.America	2020-02-14	2020-02-16
8	International Women's Day Promo	EU, CIS, APAC	2020-03-08	2020-03-10
2	St. Patric's Day Promo	EU, N.America	2020-03-17	2020-03-19
3	Easter Promo	EU, CIS, APAC, N.America	2020-04-12	2020-04-19
7	Labor day (May 1st) Ads Campaign	EU, CIS, APAC	2020-05-01	2020-05-03
9	Victory Day CIS (May 9th) Event	CIS	2020-05-09	2020-05-11
11	Dragon Boat Festival Giveaway	APAC	2020-06-25	2020-07-01
4	4th of July Promo	N.America	2020-07-04	2020-07-11
13	Chinese Moon Festival	APAC	2020-10-01	2020-10-07
12	Single's Day Gift Promo	APAC	2020-11-11	2020-11-12
5	Black Friday Ads Campaign	EU, CIS, APAC, N.America	2020-11-26	2020-12-01
0	Christmas&New Year Promo	EU, N.America	2020-12-25	2021-01-03
10	CIS New Year Gift Lottery	CIS	2020-12-30	2021-01-07

	index	event_name	A	B	other
0	0	login	2590	908	49757
1	1	product_page	1632	505	16445
2	3	product_cart	714	241	33119
3	2	purchase	757	242	16654

	user_id	date	revenue	group	orders
0	0010A1C096941592	2020-12-17	4.99	A	1
1	0010A1C096941592	2020-12-19	4.99	A	1
2	0010A1C096941592	2020-12-21	4.99	A	1
3	0010A1C096941592	2020-12-23	9.99	A	1
4	005E096DBD379BCF	2020-12-21	99.99	B	1

	user_id	event_dt	event_name	details	dt	week_day	group	first_date	region	device	lifetime	session_id
20781	001064FEAAB631A1	2020-12-20 14:43:27	login	NaN	2020-12-20	6	B	2020-12-20	EU	Android	0	1
20778	001064FEAAB631A1	2020-12-20 14:43:28	product_page	NaN	2020-12-20	6	B	2020-12-20	EU	Android	0	1
20782	001064FEAAB631A1	2020-12-21 03:19:15	login	NaN	2020-12-21	0	B	2020-12-20	EU	Android	1	2
20779	001064FEAAB631A1	2020-12-21 03:19:17	product_page	NaN	2020-12-21	0	B	2020-12-20	EU	Android	1	2
20783	001064FEAAB631A1	2020-12-26 15:55:17	login	NaN	2020-12-26	5	B	2020-12-20	EU	Android	6	3

	region	all_users	payer_users	percent_payers	percent_users
0	EU	3312	955	28.83	94.66
1	N.America	115	38	33.04	3.29
2	APAC	44	1	2.27	1.26
3	CIS	28	5	17.86	0.80

	device	all_users	payer_users	percent_payers	percent_users
0	Android	1549	436	28.15	44.27
1	PC	918	254	27.67	26.24
2	iPhone	704	203	28.84	20.12
3	Mac	328	106	32.32	9.37